Truncating Temporal Differences: On the Efficient Implementation of TD(lambda) for Reinforcement Learning

Temporal difference (TD) methods constitute a class of methods for learning predictions in multi-step prediction problems, parameterized by a recency factor lambda. Currently the most important application of these methods is to temporal credit assignment in reinforcement learning. Well known reinforcement learning algorithms, such as AHC or Q-learning, may be viewed as instances of TD learning. This paper examines the issues of the efficient and general implementation of TD(lambda) for arbitrary lambda, for use with reinforcement learning algorithms optimizing the discounted sum of rewards. The traditional approach, based on eligibility traces, is argued to suffer from both inefficiency and lack of generality. The TTD (Truncated Temporal Differences) procedure is proposed as an alternative, that indeed only approximates TD(lambda), but requires very little computation per action and can be used with arbitrary function representation methods. The idea from which it is derived is fairly simple and not new, but probably unexplored so far. Encouraging experimental results are presented, suggesting that using lambda &gt 0 with the TTD procedure allows one to obtain a significant learning speedup at essentially the same cost as usual TD(0) learning.Comment: See http://www.jair.org/ for any accompanying file

Governing drug reimbursement policy in Poland: The role of the state, civil society, and the private sector

This article investigates the distribution of power in Poland’s drug reimbursement policy in the early 2000s. We examine competing theoretical expectations suggested by neopluralism, historical institutionalism, corporate domination, and clique theory of the post-communist state, using data from a purposive sample of 109 semi-structured interviews and documentary sources. We have four concrete findings. First, we uncovered rapid growth in budgetary spending on expensive drugs for narrow groups of patients. Second, to achieve these favorable policy outcomes drug companies employed two prevalent methods of lobbying: informal persuasion of key members of local cliques and endorsements expressed by patient organizations acting as seemingly independent “third parties.” Third, medical experts were co-opted by multinational drug companies because they relied on these firms for scientific and financial resources that were crucial for their professional success. Finally, there was one-way social mobility from the state to the pharmaceutical sector, not the “revolving door” pattern familiar from advanced capitalist countries, with deleterious consequences for state capacity. Overall, the data best supported a combination of corporate domination and clique theory: drug reimbursement in Poland was dominated by Western multinationals in collaboration with domestically based cliques.Piotr Ozieranski is indebted to the Department of Sociology, University of Cambridge and St Edmund’s College for research grants

The self-acting chamfering tool with cassette tensioned by spring element

Jednym z problemów, które generują znaczne koszty oraz zwiększają czasochłonność procesów technologicznych, są czynności związane z fazowaniem krawędzi obrobionych wcześniej przedmiotów. Problem ten jest szczególnie istotny w przypadku obróbki seryjnej i masowej. Dostępne na rynku rozwiązania konstrukcyjne narzędzi do fazowania z ostrzami sprężystymi nie dają możliwości regulowania wielkości wykonywanych fazek. W pracy zamieszczono nową konstrukcję fazownika, w którym płytka skrawająca jest zamocowana w kasetce napinanej sprężyną. W celu możliwości regulowania wielkości fazki w kasetce została zaprojektowana płoza ślizgowa. Omówiono również zalety i wady prezentowanej konstrukcji wraz z możliwościami dalszych usprawnień.The chamfering of the edges of previously machined parts is one of the problems that generates significant costs and increases the time consuming process. This problem is particularly important in lot and mass processing. The chamfering tools with resilient blades available on the market do not offer the ability to adjust the size of the chamfer. In this paper a new chamfering tool design, in which the cutting insert is fixed in a spring-loaded cassette is presented. In order to adjust the size of the chamfer, a sliding skid has been designed in the cassette. The advantages and disadvantages of the presented construction along with the possibilities of further improvements are also discussed

The self-acting chamfering tool with blade tensioned by helical spring

Współczesna technologia dąży do maksymalnej efektywności wytwarzania z zachowaniem odpowiedniej dokładności wytwarzanych elementów. Załamywanie krawędzi realizowane standardowymi metodami może być czasochłonne. Fazowanie narzędziami samoczynnymi, dostępnymi na rynku, nie gwarantuje odpowiedniej dokładności wymiarów i właściwości fazek, szczególnie w produkcji seryjnej. W pracy przedstawiono ideę fazowania narzędziem posiadającym ostrze z płozą ślizgową, napinane sprężyną śrubową. Pokazano proces konstrukcji tego narzędzia. Zaprezentowano jego końcową wersję oraz wybrane wyniki fazowania tym narzędziem. Pokazano główne zalety takiego fazownika wraz z jego wadami, a także zasugerowano możliwe dalsze usprawnienia konstrukcji narzędzia, które mogą wady te wyeliminować.Modern technology strives to maximum productivity while maintaining the correct accuracy of manufactured components. Chamfering of the edges by standard methods increases the production time. Chamfering with self-acting tools available on the market does not guarantee the proper dimensions and properties of the chamfer, especially in mass production. This paper presents the idea of chamfering by the tool with a sliding blade and tensioned with helical spring. The construction processes of this tool have been shown. Its final version and selected chamfering results are presented. The main advantages of such a chamfer with its disadvantages are shown, and further possible improvements to the design of the tool, which can eliminate disadvantages, are suggested

The self-acting chamfering tool with blade tensioned by leaf spring

Problemem, który może generować znaczne koszty oraz zwiększać czasochłonność procesów technologicznych, są czynności związane z fazowaniem i gratowaniem krawędzi obrobionych wcześniej przedmiotów. Problem ten jest szczególnie istotny w przypadku obróbki masowej, kiedy ważne jest utrzymanie wysokiej efektywności wytwarzania. Dotychczas stosowane narzędzia do fazowania krawędzi, których konstrukcja opiera się na sprężyście umocowanych ostrzach, mają tę wadę, że wielkość i regularność wykonywanej fazy są uzależnione od zakłóceń losowych, np. zmiennych właściwości materiału półfabrykatu. Problem ten nasila się w przypadku kształtowania przedmiotów z materiałów plastycznych lub kompozytowych w obecności nieregularnych wypływek i zadziorów. W pracy omówiono proces konstrukcji i finalną wersję narzędzia do fazowania, wykonanego w wariancie z ostrzem ze zintegrowaną płozą ślizgową i napinanego sprężyną piórową. Omówiono wybrane wyniki fazowania tym narzędziem.One of the problems that generate significant costs and increase the time consuming process of the process is the chamfering and deburring the edges of previously machined objects. In the case of mass processing it is particularly important to maintain high efficiency of production. The size and regularity of the made phase subjected to random disturbances such as the variable properties of the material of the semi-finished product are indicated as disadvantages of existing tools for chamfering the edges which design is based on the elastically mounted blades. This problem arises when objects made from plastic or composite materials are machined in the presence of irregular spikes and burrs. This article discusses the construction process and presents the final version of the chamfering tool with a blade with integrated sliding skid tensioned by leaf spring. The selected chamfering results obtained with this tool are discussed

Physico-chemical analysis of the waste from installation of semi-dry flue gas desulfurization of industrial chp plant in Janikowo

W pracy przedstawiono wyniki analizy odpadów z instalacji odsiarczania spalin metodą półsuchą ang. Novel Intergrated Desulphurisation (NID). Przeprowadzono kompleksową analizę fizykochemiczną, m.in. wykonano analizy zawartości jonów SO32- i SO42- (w przeliczeniu na 2CaSO3 H2O i CaSO4 2H2O), wilgoci, SiO2 i R2O3 oraz analizy SEM-EDX. Zaprojektowano oryginalną metodę oznaczania siarczanów(IV) przy użyciu titratora potencjometrycznego. Wyznaczono, iż głównym składnikiem obu badanych odpadów był 2CaS3 H2O, a jego zawartość wynosiła dla NID 1 – 41,24±0,63%, dla NID 2 – 45,53±0,33%. Zawartość CaSO4 2H2O, którą wyznaczono metodą wagową, wynosiła dla NID 1 – 8,92±0,12%, dla NID 2 – 8,27±0,08%. Zawartość wilgoci badanych próbek wynosiła około 4%, zawartość SiO2 w granicach 8–10%, a zawartość R2O3 około 1%. Wykazano również, że badane materiały nie są homogeniczne. Na obrazach z elektronowego mikroskopu skaningowego widoczne były nieregularnie występują aglomeraty o średnicy od 30 do 100 μm. Analizy EDX wykazały, iż pierwiastkami wchodzącymi w skład odpadów NID są tlen, siarka, wapń, chlor, krzem, glin, miedź oraz węgiel.The paper presents results of the analysis of waste from semi-dry flue gas desulphurisation installation called Integrated Novel Desulphurisation (NID). A comprehensive analysis of the physicochemical properties was conducted, including analyzes of the content of ions SO32- and SO42- (relating to 2CaSO3 H2O and CaSO4 2H2O), moisture, SiO2 and R2O3 and SEM-EDX analysis. The original method for the determination of sulphates (IV) using a potentiometric titrator was designed. Determined that the main component of both studied wastes was 2CaSO3 H2O, and its content is for NID 1 – 41,24±0,63%, for NID 2 – 45,53±0,33%. The content of CaSO4 2H2O, which was determined by gravimetric method amounted for the NID 1 – 8,92±0,12%, for the NID 2 – 8,27±0,08%. The moisture content for both tested materials was about 4%, the content of SiO2 was in the range of 8–10%, and R2O3 content was about 1%. It was also shown that the test material is not homogenous. Images from scanning electron microscope showed that in the waste occured irregularly agglomerates with a diameter between 30 and 100 microns. EDX analysis revealed that elements constituted NID wastes are oxygen, sulfur, calcium, chlorine, silicon, aluminum, copper and carbon